Найдено записей: 4
Cerebras представила MiniMax-M2-REAP-162B-A10B — 30% REAP-прюнинг экспертов уменьшает память без заметной потери качества на задачах кода, рассуждений и вызова инструментов.
Узнайте, как оптимизация AI-инференса повышает производительность, снижает затраты, улучшает безопасность и повышает удовлетворённость пользователей в реальных приложениях.
Исследователи представили Effective State-Size (ESS) — новую метрику для измерения реального использования памяти в последовательных моделях, что улучшает оценку и оптимизацию их работы.
Исследователи из UNC Chapel Hill представили TACQ — метод квантования, который сохраняет критически важные весовые цепи и позволяет большим языковым моделям сохранять высокую точность даже при 2-битном сжатии.